#Unified Model

5 篇

Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces

多模态流：嵌入空间中语言与视觉的统一流建模

🧭 多模态统一连续生成 · Flow Matching

Huazhong University of Science and Technology · Beijing Jiaotong University · Horizon Robotics

提出全连续多模态生成模型，用流匹配在连续嵌入空间统一语言和视觉，避免离散量化瓶颈

📌 工作参考价值（4 点）

连续 embedding 流建模可以替代离散 token，用于商品多模态统一表征，减少视觉量化损失；在生成式推荐中可尝试用连续流匹配生成 item embedding 或 Semantic ID 的替代表示。
chunk-causal 骨干同时保留文本顺序和图像空间结构，适合电商商品标题、详情图等混合模态的联合建模；训练时并行预测多 target chunks，推理顺序生成 hyperchunks，可加速序列化商品描述生成。
共享联合注意力 + 模态特定 FFN 的架构，可作为商品图文融合模块：不同模态保持专门前馈处理，同时通过注意力做跨模态交互，比简单拼接更灵活。
在小数据预算下持续预训练仍能提升多模态能力，说明该连续建模范式的数据效率较高，对业务中数据量有限的场景有参考价值。

Multimodal | 2026-09-29 | HF Daily | score 6/10

StepAudio 3 Gen 技术报告

🧭 通用音频生成 · 离散自回归

StepFun-Audio Team

离散自回归统一音频生成模型，基于 RVQ token 和共享码本，在 TTS 与语音设计上达到 SOTA

📌 工作参考价值（4 点）

离散 RVQ 表示将音频压缩为 16×2048 码本、12.5 Hz 帧率，类似 Semantic ID 思路，可借鉴用于多模态商品表示或用户行为序列的离散化，降低序列长度、统一语义和声学信息。
RVQ Adaptor 作为 LLM 与多码本之间的适配层，把 16 个残差码本映射进 LLM 隐藏维度，适合在已有文本 LLM 上接入新的离散模态（如商品图像、音频评论）时参考。
干扰感知的渐进式预训练：先冻结 LLM 只训练 Adaptor，再逐步解冻，能保留原有文本能力，对在推荐/搜索 LLM 上增量添加生成式任务有直接借鉴价值。
采用“时间轴自回归 + 码本轴并行生成”的两阶段解码，相比全自回归大幅降低推理步数，可迁移到生成式推荐中处理多层语义 ID 的生成。

Other | 2026-09-10 | HF Daily | score 7/10

统一生成式召回与多目标排序的单解码器序列模型

🧭 生成式推荐 · 统一召回排序 ★ 深度解读

Institute of Information Engineering, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Kuaishou Technology

用单个解码器Transformer和双查询前缀因果注意力统一生成式召回与多目标排序，表示耦合而优化隔离

📌 工作参考价值（4 点）

统一序列设计可迁移：将用户上下文、SID 生成轨迹、商品特征拼接为一个异构序列，在电商/广告的生成式召回+排序场景中可直接借鉴，消除两段式冗余编码，并且让排序阶段能直接消费召回轨迹中的语义信息，而不是只拿离散候选列表。
双查询前缀因果注意力 (DQ-PCA) 实现任务隔离：为召回分支提供前缀因果可见性，为排序分支提供双向注意力但仅关注用户画像和生成轨迹，同时共享基础注意力权重。这种设计能有效防止排序梯度干扰自回归生成，适合电商多任务联合训练。
LoRA 作为优化隔离的低成本适配手段：在基础 Transformer 上冻结生成主路径，仅通过 Low-Rank 适配器为排序侧提供任务专用表示学习，既保护了生成式召回的质量，又恢复了排序侧的深层特征交互能力，对电商的稀疏目标（如赠礼、收藏）提升显著。
推理缓存复用与并行化部署：生成召回阶段计算的用户上下文和 SID 轨迹 KV 缓存可直接传给排序阶段复用，与外部策略过滤并行执行，大幅减少推理延迟（实验中减少 54% 推理时间），适合大规模电商/直播推荐系统的在线服务降本增效。

GenRec | 2026-07-27 | cs.IR | score 10/10

ABACUS：统一基础模型适配以实现图像计数理解与生成

🧭 视觉语言模型统一理解与生成

University of Surrey · Simon Fraser University

提出统一视觉语言模型 ABACUS，无需基准特定训练即可在多种计数任务和计数忠实图像生成上取得 SOTA

📌 工作参考价值（4 点）

Multimodal | 2026-06-21 | HF Daily | score 6/10

Pelican-Unified 1.0：统一理解、推理、想象与行动的具身基础模型

🧭 具身智能 · 统一多模态基础模型

首个按统一原则训练的具身基础模型，用单一VLM实现理解、推理、想象与行动，同规模下多项性能最优

📌 工作参考价值（4 点）

统一多任务的架构思路：用一个VLM同时承担理解与推理，将场景、指令、历史动作映射到共享语义空间，避免多个专家系统的拼接，降低系统复杂度，适合电商场景中需要融合文本、图像、用户行为序列的多任务统一建模。
未来生成器联合预测视频与动作：通过同一去噪过程同时产生未来视觉和未来行动，并将语言、视频、动作损失回传至共享表示，这种联合训练能让模型学到更丰富的环境动态表征，对需要想象用户未来行为的推荐模型有启发，可以尝试在用户序列预测中同时生成行为与上下文。
自回归思维链生成与潜变量投影：VLM在单次前向中输出任务、动作和未来导向的思维链，并将最终隐状态投影为潜变量，作为未来生成的Condition，这类似于将推理过程显式化为离散Token再总结为稠密向量，可以借鉴到Agent决策或推荐解释中，提升推理的可控性和下游生成质量。
一个Checkpoint保持各能力竞争力：实验表明统一训练不会导致能力妥协，对工业部署友好，可减少线上模型数量和版本管理成本，适合电商中需要同时具备理解、推理、想象能力的基础模型建设。

Agent | 2026-05-14 | cs.AI | score 6/10